Choreographic Pose Identification using Convolutional Neural Networks

Nikolaos Bakalos

National Technical University of Athens, Athens, Greece

Ioannis Rallis

National Technical University of Athens, Athens, Greece

Nikolaos Doulamis

National Technical University of Athens, Athens, Greece

Anastasios Doulamis

National Technical University of Athens, Athens, Greece

Eftychios Protopapadakis

National Technical University of Athens, Athens, Greece

Athanasios Voulodimos

University of West Attica, Athens, Greece

In this paper we present a deep learning scheme for classification of dance postures using Kinect II RGB data and Convolutional Neural Networks (CNN). This is achieved through the analysis of a data-set that includes three traditional Greek dances, where each dance was performed by 3 different dancers. The obtained data were processed and analyzed using a deep convolutional neural network, in order to identify the primitive postures that comprise the choreography. To enhance the classification performance, a background subtraction framework was utilized, while the CNN architecture was adapted to simulate a moving average behavior. The overall system can be used as an AI module for assessing the performance of users in a serious game for learning traditional dance choreographies.

Published in: 2019 11th International Conference on Virtual Worlds and Games for Serious Applications (VS-Games)

本論文では、Kinect IIのRGBデータと畳み込みニューラルネットワーク(CNN)を用いたダンス姿勢の分類のためのディープラーニングスキームを提示する。これは、3人の伝統的なギリシャ舞踊を含むデータセットを分析することで達成され、各舞踊は3人の異なるダンサーによって演じられた。得られたデータは、振付を構成する原始的な姿勢を識別するために、深層畳み込みニューラルネットワークを用いて処理・分析された。分類性能を向上させるために、背景減算フレームワークを利用し、CNNアーキテクチャは移動平均的な動作をシミュレートするように適合させた。全体のシステムは、伝統的なダンスの振り付けを学習するための真剣なゲームでユーザーのパフォーマンスを評価するためのAIモジュールとして使用することができます。

DOI: 10.1109/VS-Games.2019.8864522